MAREval: A Multi-Agent Framework for Evaluating Natural Language Recommendation Explanations
MAREval：推荐解释自然语言评估的多智能体框架
🧭 多智能体 LLM-as-a-judge 评估推荐解释 ★ 深度解读
Walmart Global Tech
规划者-主持者-仲裁者多智能体+Monte Carlo 采样提升推荐解释评估的人工对齐和稳定性
📌 工作参考价值（4 点）
- 将单智能体 LLM-as-a-judge 改造为 planner→evaluator→moderator→arbitrator 流水线，planner 先生成各角色同步步骤，能显著减少 prompt drift 和辩论噪声，适合电商推荐解释的质量审核。
- moderator 用动态摘要代替全量上下文，过滤冗余、保留关键分歧，可在长文本或多轮评估中降低 token 成本和上下文污染，类似 trick 可复用到商品文案或 push 文案自动评估。
- 对黑盒 LLM 用 pipeline-level Monte Carlo 采样（N=5 次取平均）降低输出方差；实验显示 4 个 evaluator、5 次采样是成本/性能折中点，边际收益递减。
- 上线前将自动评估作为硬约束门禁，辅以少量人工抽检，可实现硬标准 100% 通过；骨干模型选择显著影响评估质量，Gemini 2.5 Pro / Claude 3.5 Sonnet 明显优于 GPT-3.5，实际选型需先在自有数据上验证与人工标注的相关性。